เตรียมความพร้อม
ในบทความนี้ต้องการ Stable Diffusion WebUI ติดตั้งอยู่ในเครื่องเรียบร้อยแล้ว หากยังไม่ติดตั้งสามารถดูวิธีติดตั้งได้ ที่นี่
ว่าด้วยเรื่อง ControlNet
ControlNet เป็นส่วนเสริมของ Stable Diffusion WebUI ทำให้ AI สามารถวาดภาพจากภาพร่างที่เรามีอยู่ได้ และยังสามารถที่จะจัดท่าโพสต่างๆ ให้กับคนหรือสัตว์ต่างๆ ได้อีกด้วย
สามารถศึกษาข้อมูลเพิ่มเติมได้ที่
https://github.com/Mikubill/sd-webui-controlnet
ติดตั้ง ControlNet
1. เปิดเว็บ Stable Diffusion WebUI ที่แถบด้านบนเลือก “Extensions”, แถบย่อยเลือก “Install from URL” ในส่วนของ URL for extension’s git repository ให้ใส่ URL ตามด้านล่างและกด “Install”
1 | https://github.com/Mikubill/sd-webui-controlnet |
2. เมื่อติดตั้งเสร็จแล้วจะพบข้อความ “Installed into …stable-diffusion-webui\extensions\sd-webui-controlnet. Use Installed tab to restart.” ด้านล่าง
**** หากพบ Error ให้ปิด WebUI ให้หมดก่อนแล้วลบโฟเดอร์ sd-webui-controlnet ใน stable-diffusion-webui\extensions และลองทำการติดตั้งใหม่อีกครั้ง ****
3. เปิดเว็บ https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main เพื่อ Download ControlNet Models
***สำหรับ SDXL ***
สามารถ Download (.safetensors) ได้ที่ https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
SDXL ให้เพิ่ม options ในการรัน –medvram-sdxl –xformers ที่ webui-user.bat เพื่อลดการใช้ VRAM
สามารถดูวิธีติดตั้ง xformers ได้ที่ https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Xformers
4. ให้ทำการ Download ทุกไฟล์ที่มีนามสกุล “.pth” หรือโหลดตามความสามารถที่ต้องการใช้เช่น openpose
5. นำไฟล์ “.pth” ทั้งหมดไปไว้ที่ stable-diffusion-webui\models\ControlNet
6. เปิดเว็บ Stable Diffusion WebUI ไปที่แถบ Installed แล้วกด “Apply and quit” และทำการรัน WebUI ขึ้นมาใหม่
7. ตรวจสอบความถูกต้อง ถ้าทุกอย่างถูกต้องจะพบแถบ ControlNet อยู่ทางด้านล่าง
8. เลื่อนลงมาตรวจสอบว่ามี Model ที่ติดตั้งหรือไม่
ทดสอบใช้งาน ControlNet เบื้อต้นด้วย OpenPose
9. ติ๊กถูกที่ Enable และ Allow Preview (ตัว Image ด้านบนจะมีการแสดง Preview ด้านข้าง)
10. ส่วนของ Control Type เลือก OpenPose (ตัว Processor และ Model จะถูกเลือกโดยอัตโนมัติ)
12. หาภาพ Pose ที่ต้องการมาและลากใส่ในส่วนของ Image (แนะนำขนาด 512x512) จากนั้นกดที่ Icon รูประเบิด
13. ครั้งแรกจะใช้เวลานานเพราะ ControlNet จะโหลด Model เพิ่มเติม หากใช้งานได้ในส่วนของ Preprocessor Preview จะแสดงรูปโครงกระดูก Pose ให้เห็น
14. ทดสอบ Generate โดยใช้ Prompt ง่ายๆเช่น “A man” จะเห็นได้ว่า Pose ที่ได้จะรูปร่างคล้ายโครงกระดูกต้นฉบับ
